Problème d'ajustement linéaire :
Étant donné \(n\) couples de réels \((x_i,y_i)\), \(1\leqslant i\leqslant n\), on cherche une droite \(D\) d'équation \(y=ax+b\) telle que \(\mu(a,b)=\sum^n_{i=1}(y_i-ax_i-b)^2\) soit minimal
On note \(\bar x=\frac1n\sum^n_{i=1}y_i\), \(\overline{x^2}=\frac1n\sum^n_{i=1}x^2_i\) et \(\overline{xy}=\frac1n\sum^n_{i=1}x_iy_i\), et on suppose \(\overline{x^2}\ne \bar x^2\)
Résoudre le problème
On cherche un minimum global On cherche \((a_0,b_0)\) tel que \(\mu(a_0,b_0)\leqslant\mu(a,b)\quad\forall a,b\in{\Bbb R}\)
On cherche le minimum global de \(\mu\) et le point \((a_0,b_0)\) où il est atteint
Recherche de points critiques $$\begin{align}\begin{cases}\frac{\partial\mu}{\partial a}(a,b)=0\\ \frac{\partial\mu}{\partial b}(a,b)=0\end{cases}&\iff\begin{cases}\sum^n_{i=1}-x_i(y_i-ax_i-b_i)=0\\ \sum^n_{i=1}(y_i-ax_i-b_i)=0\end{cases}\\ &\iff\begin{cases}\frac1n\sum^n_{i=1}x_iy_i-\frac an\sum^n_{i=1}x_i^2-\frac bn\sum^n_{i=1}x_i=0\\ \sum^n_{i=1}y_i-a\sum^n_{i=1}x_i-nb=0\end{cases}\\ &\iff\begin{cases}\overline{xy}-a\overline{x^2}-b\bar x=0\\ \bar y-a\bar x- b=0\end{cases}\\ &\iff\begin{cases}\overline{xy}-\bar x\bar y-a(\overline{x^2}-\bar x^2)=0\\ \bar y-a\bar x-b=0\end{cases}&&L_1\gets L_1-\bar x L_2\\ &\iff\begin{cases} a=\cfrac{\overline{xy}-\bar x\bar y}{\overline{x^2}-\bar x^2}\\ b=\cfrac{\bar y\overline{x^2}-\bar x\overline{xy}}{\overline{x^2}-\bar x^2}\end{cases}&&\text{car }\overline{x^2}\neq\bar x^2\end{align}$$ donc \(\mu\) a un unique point critique
Montrer que le hessien est positif via l'inéglité de Cauchy-Schwarz
Vérifions qu'il s'agit d'un minimum local : $$\begin{align}\frac{\partial^2\mu}{\partial a^2}(a,b)&=2\sum_{i=1}^nx_i^2=2n\overline{x^2}\\ \frac{\partial^2\mu}{\partial b^2}(a,b)&=2\sum^n_{i=1}x_i=2n\bar x\\ \frac{\partial^2\mu}{\partial a\partial b}(a,b)&=2\sum^n_{i=1}1=2n\end{align}$$ la hessienne de \(\mu\) en \((a_0,b_0)\) est : $$\begin{pmatrix}2n\overline{x^2}&2n\bar x\\ 2n\bar x&2n\end{pmatrix}$$ et le hessien de \(\mu\) en \((x_0,y_0)\) est : $$4n^2(\overline{x^2}-\bar x^2)$$
2i: Montrer que c'est un min local en calculant le hessien
3: Or \(\sum^n_{i=1}x_i=\left\langle\begin{pmatrix}1\\ \vdots\\ 1\end{pmatrix},\begin{pmatrix} x_1\\ \vdots\\ x_n\end{pmatrix}\right\rangle\)
Et d'après l'inéglité de Cauchy-Schwar, on a : $$\begin{align}\left|\left\langle\begin{pmatrix}1\\ \vdots\\ 1\end{pmatrix},\begin{pmatrix} x_1\\ \vdots\\ x_n\end{pmatrix}\right\rangle\right|&\leqslant\sqrt n\sqrt{\sum^n_{i=1}n_i^2}\\ &=\sqrt n\sqrt n\overline{x^2}\\ \implies\left(\sum^n_{i=1} x_i\right)^2&\leqslant n^2\overline{x^2}\\ \bar x^2&\leqslant\overline{x^2}\end{align}$$
Donc le hessien de \(\mu\) est strictement positif, donc \(\mu\) atteint un extremum local en \((a_0,b_0)\) et comme \(\frac{\partial^2f}{\partial a^2}(a_0,b_0)\geqslant0\)
C'est un minimum
(Théorème des extrema locaux - Caractérisation de Monge , Inégalité de Cauchy-Schwarz )